各種各樣的轉換,時間
今天是星期五,應該是容許水一天的吧
to_timestamp(col,format)
基本上就是針對日期格式做相對應的轉換!
詳細情境:
當你的pyspark版本超過2.X版之後,對於日期格式的format 就變得非常嚴格,這個部分要多多注意
可以使用spark.sql("set spark.sql.legacy.timeparserpolicy=exception")
切換成與舊版相容,才能夠切到喜歡的格式
#Timestamp String to DateType
df = df.withColumn("Date",to_timestamp(col("Date"), "yyyy-mm-dd"))